DM&ML
DM_ML NOTES
ML_TEST
cards
比较检验
步长选择
采样方法（蒙特卡洛方法）
层次聚类
查准率，查重率与F1
超平面参数的放缩
存在问题
错误率与精度
单隐层链式求导
得到参数的极大似然估计
对数几率回归
对数似然
多滤波器（卷积核）情形
多元线性回归
反向传播如何实现？
反向传播如何实现？数学原理？
构造哈希树
广义线性回归
过采样和欠采样
好而不同
核函数
划分选择
划分样本空间的超平面线性方程描述
混合属性距离
机器学习分类
机器学习算法分类
基本流程
基本形式
激活函数
激活函数的梯度
极大似然估计
集成学习
接受拒绝采样
解出a后怎么解w和b？
矩阵求导
距离的基本性质
距离度量
卷积神经网络
均方误差
拉普拉斯修正
连乘导致的属性抹去问题
留出法
密度聚类
闵可夫斯基距离
逆变换采样
判别式模型
评估方法
朴素贝叶斯分类器
浅层学习的局限
缺失值处理
任务
软间隔
软间隔KKT条件
弱对偶，强对偶
深度学习诞生
深度学习和浅层学习的区别
深度学习减少参数的方法
神经网络
神经元模型
生成关联规则的剪枝原理
生成式模型
属性独立性假设
数据类型
随机森林
损失函数
特征表示的粒度
梯度下降
梯度消失，梯度爆炸
万有逼近性
未命名
未命名 1
未命名 2
未命名 3
未命名 4
误差与拟合
先验概率 后验概率
线性回归
线性模型
线性判别分析
相似度度量
相似度度量习题
小批量更新
协方差
协方差矩阵
性能度量
样本点到超平面的距离
一元线性回归
预防过拟合
原型聚类
约束转换
早停
怎么确定(d+l+1)q + l个参数？
正则化
支持度计算
支持向量机
重要性采样
转换后要解决的问题
自助法
ACCESS
AdaBoost
AGNES
ANN_BP homework
Apriori
Bagging
Boosting
BP_demo
PY
cheng_fa
Cluster_demo
IPYNB
DBSCAN
EM算法
FP-GROWTH
HASH TREE
Jensen不等式
K-means
k折交叉验证
MCMC采样
ML Index
MLPPT发言稿
MLP
MLP
IPYNB
MLP_backup
IPYNB
MP-神经元模型
ROC和AUC
SMO算法
task
VDM距离
1. ML大纲 blog
1. ML大纲 canvas
CANVAS
2. 模型评估与选择 canvas
CANVAS
2. 模型选择与评估 blog
3. 线性模型 blog
3. 线性模型 canvas
CANVAS
4. 决策树 blog
4. 决策树 canvas
CANVAS
5. 支持向量机 canvas
CANVAS
6. BP神经网络 blog
6. BP神经网络 canvas
CANVAS
7. 贝叶斯分类器 canvas
CANVAS
8. 集成学习 canvas
CANVAS
9. 聚类 canvas
CANVAS
10. 采样方法 canvas
CANVAS
11. CNN canvas
CANVAS

基本思想

Pasted image 20240609211846.png

符号定义

协方差矩阵

协方差

类内散度矩阵

Pasted image 20240609212217.png

  • 目标中越小越好
    • 两两变量之间越相关越好

类间散度矩阵

Pasted image 20240609212254.png

  • 目标中越大越好

目标函数

Pasted image 20240609212130.png

  • 矩阵化之后Pasted image 20240609212424.png

求解方法

  • w的大小不重要，重要的是w的方向

拉格朗日乘子法

Pasted image 20240609212805.png

  • 对称阵！ Pasted image 20240609212900.png

调整常数等于λ

  • 把一个能调整成标量的表达式直接搞成lambda（代数技巧） Pasted image 20240609212955.png
Table Of Contents
基本思想
符号定义
协方差矩阵
类内散度矩阵
类间散度矩阵
目标函数
求解方法
拉格朗日乘子法
调整常数等于λ